Tương truyền, nguyên thủy chùa do Thiền sư Không Lộ xây dựng ở ven sông Hồng từ năm 1061 dưới thời Lý Thánh Tông, tại hương Giao Thủy, phủ Hải Thanh (nay là xã Nam Hồng, huyện Nam Trực, tỉnh Nam Định). Ban đầu, chùa có tên là Nghiêm Quang tự, đến năm 1167 mới đổi thành Thần Quang tự. Vì Giao Thủy có tên Nôm là Keo, nên ngôi chùa này cũng được gọi là chùa Keo.

Theo sáchTân biên Nam Định tỉnh địa dư chí lược (Phòng Địa chí - Thư viện tỉnh Nam Định chế bản) tại trang 146, trong mục chùa Keo thì ghi: Không Lộ tên chính là Nguyễn Chí Thành người xã Điềm Xá huyện Gia Viễn cùng Nguyễn Viết Y người xã Loa Điền Hải Thanh kết bạn với nhau, Chí Thành đạo hiệu là Không Lộ, Viên Y đạo hiệu là Giác Hải, sau gặp sư Từ Đạo Hạnh người Yên Lãng cùng sang Tây Trúc học đạo đều thành.[1]

Sau gần 500 năm tồn tại, năm 1611, nước sông Hồng lên to, làm ngập làng Giao Thủy, nơi có chùa. Một bộ phận dân cư dời sang phía nam sông Hồng, lập thành làng Hành Thiện, xây dựng nên ngôi chùa Keo mới, thường được gọi là chùa Keo Dưới (Keo Hạ) hay chùa Keo Hành Thiện (nay ở xã Xuân Hồng, huyện Xuân Trường, Nam Định). Một bộ phận dân cư dời sang tả ngạn sông Hồng, lập làng Dũng Nhuệ trên đất Thái Bình, về sau cũng dựng lên một ngôi chùa, gọi là chùa Keo Trên (Keo Thượng).